<div>
	Система маршрутизации клиентов на основе их эмоционального состояния и возраста в системах обслуживания населения </div>

Сома Гедеш Мануэл, Копаница Георгий Дмитриевич

doi:10.17586/2226-1494-2023-23-5-1009-1020

2023 , ТОМ 23, НОМЕР 5 ( сентябрь-октябрь )

ISSN 2226-1494 (print), ISSN 2500-0373 (online)

Меню

Публикации

Главный редактор

НИКИФОРОВ
Владимир Олегович
д.т.н., профессор

Партнеры

doi: 10.17586/2226-1494-2023-23-5-1009-1020

УДК 004.85

Система маршрутизации клиентов на основе их эмоционального состояния и возраста в системах обслуживания населения

Сома Г., Копаница Г.Д.

Читать статью полностью

Язык статьи - английский

Ссылка для цитирования:

Сома Г.М., Копаница Г.Д. Система маршрутизации клиентов на основе их эмоционального состояния и возраста в системах обслуживания населения // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23, No 5. С. 1009–1020 (на англ. яз.). doi: 10.17586/2226-1494-2023-23-5-1009-1020

Аннотация

Введение. Разработана система маршрутизации клиентов на основе их эмоционального состояния и возраста в системах обслуживания населения. Для разработки моделей предложен метод Squeeze-and-Excitation (SE), который отличается от существующих методов тем, что позволяет улучшить эффективность глубокой сверточной нейронной сети архитектуры, повышая информационный поток между слоями и усиливая важные признаки. SE метод основан на сжатии и возбуждении информации на каждом этапе свертки, что позволяет получить вектор оценок важности по каналам и использовать его для перевзвешивания каналов карты признаков. В работе показано, что SE метод позволил улучшить качество классификации и сократить время обучения модели. Метод. Для проведения маршрутизации клиентов в зависимости от их эмоционального состояния и возраста разработана математическая модель эмоциональной целевой маршрутизации на основе интерполяционного многочлена Ньютона. Интерполяционная функция в предложенной модели выполняет расчет времени ожидания клиентов в соответствии с их эмоциональным состоянием. Разработаны три модели бинарной классификации эмоций и возрастов: две модели для распознавания эмоционального состояния клиента и одна — для распознавания возраста. В первой и третьей моделях представлена глубокая сверточная нейронная сеть с использованием нового подхода SE на основе механизма внимания. Во второй модели применен метод опорных векторов. Основные результаты. Для тестирования модели после ее обучения применен метод evaluate, позволяющий оценить качество модели на новых данных, которые не были использованы при ее обучении. Это осуществлено для проверки, насколько точно модель может предсказывать значения целевой переменной на новых данных. Метод evaluate использует метрики оценки качества модели, такие как точность (accuracy), полнота (recall), F1-мера (F1-score). Выполнено сравнение эффективности методов на наборах данных FER-2013 и Adience, а также результатах, полученных в настоящей работе, с результатами, описанными в научных работах, опубликованных в базе данных Scopus. Согласно полученным экспериментальным данным, первая и вторая разработанные модели достигли точности валидации 72 % и 66 % соответственно, а их размеры составили 0,69 МБ и 369 МБ. В то же время модель распознавания возраста достигла точности 88 % при размере 1,68 МБ. Математическая модель эмоциональной целевой маршрутизации разработана для минимизирования конфликтов в системах обслуживания населения. Разработанная система может автоматически направлять клиентов по маршрутам в зависимости от их эмоционального состояния (наличия злости) и возраста к соответствующему оператору. Таким образом, клиенты старше 60 лет или с уровнем злости 60–80 % направляются к старшему оператору, который имеет опыт общения, с пожилыми клиентами или клиентами в возбужденном эмоциональном состоянии, а клиенты с уровнем злости 80–100 % направляются к психологу. Обсуждение. Результаты исследования могут быть применены в системах обслуживания населения для распознавания возраста и признаков злости клиентов. Разработанная система может быть применена, в различных областях, где есть контакт с большим количеством людей (например, банки, супермаркеты, системы контроля доступа в аэропортах, полицейские участки, метро и колл-центры).

Ключевые слова: выражение лица, эмоция, возраст, классификация, DCNN, PSS

Список литературы

Adigwe P., Okoro E. Human communication and effective interpersonal relationships: an analysis of client counseling and emotional stability // International Journal of Economics & Management Sciences. 2016. V. 5. N 3. https://doi.org/10.4172/2162-6359.1000336
Giangreco A., Carugati A., Sebastiano A., Al Tamimi H. War outside, ceasefire inside: An analysis of the performance appraisal system of a public hospital in a zone of conflict // Evaluation and Program Planning. 2012.V. 35. N 1. P. 161–170. https://doi.org/10.1016/j.evalprogplan.2010.11.004
Knutson B. Facial expressions of emotion influence interpersonal trait inferences // Journal of Nonverbal Behavior. 1996. V. 20. N 3. P. 165–182. https://doi.org/10.1007/bf02281954
Compas B.E. Psychobiological processes of stress and coping: implications for resilience in children and adolescents—comments on the papers of Romeo & McEwen and Fisher et al. // Annals of the New York Academy of Sciences.2006. V. 1094. N 1.P. 226–234. https://doi.org/10.1196/annals.1376.024
Zapf D. Emotion work and psychological well-being: A review of the literature and some conceptual considerations // Human Resource Management Review. 2002. V. 12. N 2. P. 237–268. https://doi.org/10.1016/s1053-4822(02)00048-7
Dong Y., Liu Y., Lian S. Automatic age estimation based on deep learning algorithm // Neurocomputing. 2016. V. 187. P. 4–10. https://doi.org/10.1016/j.neucom.2015.09.115
Giannakakis G., Koujan M.R., Roussos A., Marias K. Automatic stress analysis from facial videos based on deep facial action units recognition // Pattern Analysis and Applications. 2022. V. 25. N 3. P. 521–535. https://doi.org/10.1007/s10044-021-01012-9
Gwyn T., Roy K., Atay M. Face recognition using popular deep net architectures: A brief comparative study // Future Internet. 2021. V. 13. N 7. P. 164. https://doi.org/10.3390/fi13070164
Kumar S., Singh S., Kumar J., Prasad K.M.V.V. Age and gender classification using Seg-Net based architecture and machine learning // Multimedia Tools and Applications. 2022. V. 81. N 29. P. 42285–42308. https://doi.org/10.1007/s11042-021-11499-3
Leist A., Playne D.P., Hawick K.A. Exploiting graphical processing units for data-parallel scientific applications // Concurrency and Computation: Practice and Experience.2009. V. 21. N 18. P. 2400–2437. https://doi.org/10.1002/cpe.1462
Madhavi M., Gujar I., Jadhao V., Gulwani R. Facial emotion classifier using convolutional neural networks for reaction review // ITM Web of Conferences. 2022. V. 44. P. 03055. https://doi.org/10.1051/itmconf/20224403055
Вдовина М.В. Регулирование конфликта между социальным работником и получателем социальных услуг // Wschodnioeuropejskie Czasopismo Naukowe (East European Scientific Journal). 2015. Т. 3. № 3. С. 124–131.
Mouatasim A.E. Fast gradient descent algorithm for image classification with neural networks // Signal, Image and Video Processing. 2020. V. 14. N 8. P. 1565–1572. https://doi.org/10.1007/s11760-020-01696-2
Nguyen H.-D., Kim S.-H., Lee G.-S., Yang H.-J., Na I.-S., Kim S.-H. Facial expression recognition using a temporal ensemble of multi-level convolutional neural networks // IEEE Transactions on Affective Computing. 2022. V. 13. N 1. P. 226–237, https://doi.org/10.1109/TAFFC.2019.2946540
Никишина И.Ю. Выражение концепта anger("гнев") в современной английской и американской художественной литературе: автореферат диссертации на соискание ученой степени кандидата филологических наук / МГУ им. М.В.Ломоносова. М., 2008. 23 с.
Olaide O.B., Ojo A.K. A model for conflicts’ prediction using deep neural network // International Journal of Computer Applications. 2021. V. 183. N 29. P. 8–13. https://doi.org/10.5120/ijca2021921667
Paper D. Classification from complex training sets // Hands-on Scikit-Learn for Machine Learning Applications. Apress, Berkeley, CA, 2020. P. 71–104. https://doi.org/10.1007/978-1-4842-5373-1_3
Piatak J., Romzek B., LeRoux K., Johnston J. Managing goal conflict in public service delivery networks: Does accountability move up and down, or side to side? // Public Performance & Management Review. 2018. V. 41. N 1. P. 152–176. https://doi.org/10.1080/15309576.2017.1400993
Pollak S.D., Camras L.A., Cole P.M. Progress in understanding the emergence of human emotion // Developmental Psychology. 2019. V. 55. N 9. P. 1801–1811. https://doi.org/10.1037/dev0000789
Reichel L. Newton interpolation at Leja points // BIT. 1990. V. 30. N 2. 332–346. https://doi.org/10.1007/BF02017352
Rodriques M.V. Perspectives of Communication and Communicative Competence. Concept Publishing Company, 2000. 390 p.
Рюмина Е.В., Карпов А.А. Аналитический обзор методов распознавания эмоций по выражениям лица человека // Научно-технический вестник информационных технологий, механики и оптики. 2020. V. 20. N 2. P. 163–176. https://doi.org/10.17586/2226-1494-2020-20-2-163-176
El-Glaly Y.N., Quek F. Digital reading support for the blind by multimodal interaction // ICMI '14: Proc. of the 16^th International Conference on Multimodal Interaction. 2014. P. 439–446. https://doi.org/10.1145/2663204.2663266
Hameduddin T., Engbers T. Leadership and public service motivation: a systematic synthesis // International Public Management Journal. 2022. V. 25. N 1. P. 86–119. https://doi.org/10.1080/10967494.2021.1884150
Thrassou A., Santoro G., Leonidou E., Vrontis D., Christofi M. Emotional intelligence and perceived negative emotions in intercultural service encounters: Building and utilizing knowledge in the banking sector // European Business Review. 2020. V. 32. N 3. P. 359–381. https://doi.org/10.1108/ebr-04-2019-0059
Varma S., Shinde M., Chavan S.S. Analysis of PCA and LDA features for facial expression recognition using SVM and HMM classifiers // Techno-Societal 2018: Proc. of the 2^nd International Conference on Advanced Technologies for Societal Applications. V. 1. 2020. P. 109–119. https://doi.org/10.1007/978-3-030-16848-3_11
Petri V., Jari K. Public service systems and emerging systemic governance challenges // International Journal of Public Leadership. 2015. V. 11. N 2. P. 77–91. https://doi.org/10.1108/IJPL-02-2015-0007
Wu Z., Shen C., van den Hengel A. Wider or deeper: Revisiting the ResNet model for visual recognition // Pattern Recognition. 2019. V. 90. P. 119–133. https://doi.org/10.1016/j.patcog.2019.01.006
Tian Y. Evaluation of face resolution for expression analysis // Proc. of the 2004 Conference on Computer Vision and Pattern Recognition Workshop. 2004. P. 82. https://doi.org/10.1109/CVPR.2004.334
Zaghbani S., Bouhlel M.S. Multi-task CNN for multi-cue affects recognition using upper-body gestures and facial expressions // International Journal of Information Technology. 2022. V. 14. N 1. P. 531–538. https://doi.org/10.1007/s41870-021-00820-w

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License